Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs
自适应深度稀疏框架：基于相似度驱动的预训练LLM推理加速
🧭 LLM推理加速 · 深度稀疏化
Southern University of Science and Technology · Huawei Technologies Co., Ltd.
利用层间余弦相似度自适应分配token保留率，将预训练LLM转为深度稀疏模型，无需全量微调即大幅降低推理FLOPs
📌 工作参考价值（4 点）
- 动态层稀疏用于推荐模型推理：电商搜索推荐中常部署深层Transformer（如DIN、SIM、HSTU），可借鉴层间余弦相似度自动识别冗余层，为高延迟模块（如长序列建模）分配不同token保留率，降低在线推理耗时。
- 轻量router做自适应输入裁剪：router逐层选择信息量大的token，类似门控机制。在推荐系统中可用于对用户行为序列、多域特征进行动态重要性采样，尤其适合计算广告中候选物料池较大时的粗排或召回阶段。
- 特征对齐损失稳定稀疏化训练：在蒸馏或模型压缩时，引入中间层与最终输出的表示对齐损失，可缓解稀疏化带来的性能损失，适合将大容量推荐模型压缩为轻量线上模型。
- 免全量微调的快速适配：仅需少量校准数据即可将预训练LLM转为稀疏模型，此方法可推广到电商Agent或query生成模型，当目标任务变更时快速压缩模型，降低迭代成本。